#LLM 학습

노르웨이 국립도서관, 화웨이 2PB 플래시 스토리지로 자국어 LLM 구축

노르웨이 국립도서관이 영어 중심의 상용 LLM을 대체하기 위해 자국의 역사와 문화가 반영된 주권 AI(주권 LLM)를 개발하고 있습니다. 이를 위해 20PB 규모의 자체 디지털 데이터를 정제하는 파이프라인에 2PB의 화웨이 오션스토어(OceanStor Dorado) 플래시 스토리지를 도입해 데이터 병목 현상을 해소하고 있습니다. 이 과정은 대규모 아카이브를 AI 학습 파이프라인으로 효율적으로 전송하는 기술적 과제와 자국어 평가 및 거버넌스 확립의 중요성을 보여줍니다.

Swift로 LLM 학습시키기: 행렬 연산 최적화

본 글은 Apple Silicon 환경에서 Swift를 사용하여 외부 프레임워크 없이 대규모 언어 모델(LLM)을 학습시키기 위한 행렬 곱셈 코드를 처음부터 직접 작성하고 극한으로 최적화하는 과정을 다룹니다. 저자는 Andrej Karpathy의 'llm.c' 프로젝트를 Swift로 포팅하고, CPU, SIMD, AMX, GPU 등 Apple Silicon의 다양한 연산 유닛을 활용해 기존 C언어 구현체보다 빠르게 만드는 실험을 진행합니다. 이를 통해 Swift 환경에서 ML 연산을 최적화하는 핵심 기법과 Apple 기기의 하드웨어적 성능 한계를 체감할 수 있는 귀중한 인사이트를 제공합니다.